構造化光を用いる欠陥検出のための方法及び装置

专利摘要:
構造化光を用いて、製造された物品（９４）の合い具合及び仕上がりについての問題を検出する改善された方法及び装置。反対方向から取得される２つ以上構造化光画像（９２、９８）を用いて、継ぎ目の付近の小さい欠陥によって引き起こされる誤検出を回避しながら、接合面の合い具合を測定する。
公开号:JP2011515703A
申请号:JP2011501944
申请日:2009-03-23
公开日:2011-05-19
发明作者:エメリー，ジョセフ，ジェイ．；バルドウィン，レオ
申请人:エレクトロ サイエンティフィック インダストリーズ インコーポレーテッド；
IPC主号:G01B11-30

专利说明:

[0001] 本発明は、マシンビジョンを用いて、製造された物品内の局部的な欠陥を検出することに関する。詳しくは、本発明は、物品に投影された構造化光（structured light）を用いて、検査される表面における僅かな乱れによって生じる欠陥の誤検出を低減しながら、接合された表面の不整合を検出することに関する。]
背景技術

[0002] 製造される物品の多くは、２つ以上の部品から組み立てられた外側のパッケージを有することによって区別される。製造業者は、組み立てられた部品が継ぎ目のない外観を有することを望むことが多い。これは、部品が組み立てられたとき、部品間の継ぎ目が容易に見分けられないような公差で部品を製造することによって達成される。この組立の手法では、パーツ（部品）を製造する際の公差にもかかわらず、接合されるパーツに僅かなばらつきが生じた場合に問題が生じる。この問題の１つの解決策は、物品の組立後に物品を検査して、表面が許容できる精度で接合しているかを判定することである。]
[0003] 最も単純な解決策は、人間が目視で完成品を検査し、許容できるかを判定することである。人間を訓練し、交代させることは比較的簡単であるが、人間による検査の問題は、時間的な一貫性がなく、検査される物品に関する量的な判断が困難であることを含む。例えば、物品の検査の訓練のために、人間に良品及び不良品を見せてもよく、これによって、更なる物品が、先に見せられた実例にどれ程似ているかに応じて、その物品を合格又は不合格にすることが期待される。しかしながら、人間の検査者は、量的な判定ではなく、質的な判定を行うという点で、困難が生じる。このため、パーツを特定の数値的な公差で検査することは困難であり、これは、異なる検査者が同じパーツを別様に分類することがあることを意味する。このために、一様な外観を確実にするために物品を検査するという目的が達成されなくなる傾向がある。これは、パーツが異なる材料から形成される場合、例えば、プラスチックパーツをアルミニウムパーツと接合させる必要があるとき、特に困難である。]
[0004] 一様な外観を確実にし、品質のための量的な基準を強制するために、マシンビジョンシステムを用いて物品を検査することができる。カラー又はグレースケール画像に頼る２Ｄマシンビジョンシステムは、表面が接合するアプリケーションにおいて、異常を量的に測定する際に人間の場合と同じ困難性を有する。このため、表面を検査するために３Ｄビジョンが用いられることもある。表面から３Ｄ情報を抽出するには、多くの異なる手法があり、これらのそれぞれは、分解能、精度及びスピードが異なる。この表面検査問題を解決するのに最も適合する幾つかの３Ｄ測定方法は、表面に光のパターン（「構造化光（structured light）」）を投影し、パターンの局所的なずれを測定して、表面に関する３Ｄ情報を抽出することを伴う。]
[0005] 構造化光は、幾つかの異なる手法で、物品の表面に生成できる。注目される手法では、表面にインフォーカスパターン（in-focus pattern）を投影し、パターンの１又は複数の画像を取得し、パターンの一部の２Ｄ位置を測定し、その点の高さ（height）を幾何学的に計算することによって、表面に関する情報を抽出する。従来の構造化光システムの概略図を図１に示す。構造化光プロジェクタ２は、構造化光４を物品６に投影し、カメラ８は、物品６を撮像して、画像１０を形成し、コンピュータ１２は、この画像１０を取得し、処理する。図２は、従来の構造化光システムが、物品上の不連続なエッジの画像をどのように形成するかの具体例を示している。この図では、構造化光プロジェクタ１４は、上側の表面２０及び下側の表面２２を有する物品１８にストライプ１６を投影する。ストライプ１６は、表面２０、２２に投影され、投影パターン２４、２６を形成する。これらのパターン２４、２６は、カメラ２８によって撮像され、次に、コンピュータ３０によって取得され、画像３２が形成され、続いて、コンピュータ３０によって処理される。画像３２は、表面２０、２２の間の不連続性が、撮像されたラインのグループ３４、３６間のずれとして、どのように現れるかを図式的に示している。コンピュータ３０は、通常、構造化光のずれを用いて、物品の一部の相対的な高度（altitude）を判定する。] 図１ 図２
[0006] 図３は、従来の構造化光システムを用いて、表面上の点の相対的な高度を幾何学的にどのように算出するかを示す概略図である。図３では、構造化光プロジェクタ４０は、複数のラインを投影し、そのうちの１つのライン４２を示している。このラインは、図面の平面に入り、部面の平面から出るように延び、図２の物品のように２つの表面４４、４６を有する物品５２に交わる。ライン４２からの光は、物品５２から反射し、カメラ／レンズシステム（図示せず）によって、画像センサ平面５４に結像される。この場合、画像センサ平面５４は、点５６で、表面４４から反射した光４８と交わり、点５８で、表面４６から反射した光５０と交わる。なお、図３では、「Ｂ」のマークが付されている表面４４、４６の間の高度の差分によって、画像平面内に「Ａ」のマークが付されている画像センサ平面５４上の点５６、５８の間の差分が生じる。実際には、よく知られているマシンビジョン技術を用いて、画像平面内の点５６、５８の位置を判定し、距離Ａを測定することができる。この具体例では、距離Ａは、以下の式によって距離Ｂに関係づけられる。] 図２ 図３
[0007] 式１ Ａ＝Ｂ（１＋ｔａｎ（ａ）／ｔａｎ（ｂ））
ここで、ａ及びｂは、それぞれ、照射角及び視野角として図３に示されている角度である。] 図３
[0008] この方法の１つの具体例については、Ｂ． Ｓｈａｗｎ Ｂｕｃｋｌｅｙ他による米国特許番号第６，０６４，７５９号に開示されている。この具体例では、単一のカメラ位置を用いて、表面に投影された構造化光の画像を取得し、これに続いて、表面に幾何モデルがあてはめられる。表面画像の複数の点を用いて、単一の３Ｄ点を形成することによって、測定の精度が向上する。]
[0009] 「"Technique for Phase Measurement and Surface Reconstruction by Use of Colored Structured Light," by Oleksandr, et al, (Applied Optics vol. 41, Issue 29, pp. 6104-6117 (2002))」に開示されている同様の方法では、複数の着色されたパターンを投影し、投影光を識別して、３Ｄ測定の精度の向上を試みている。ここでは、微分方程式を用いて、構造化光画像から３Ｄ情報を抽出することによって、構造化光を使用して、自動車のフロントガラスのトポグラフィを判定する技術が説明されている。]
発明が解決しようとする課題

[0010] これらの方法には、２つの問題がある。第１の問題は、速度である。表面全体の３Ｄマップを作成するのは時間がかかる。本願で検討する用途では、表面全体に関心があるわけではなく、部品間の継ぎ目の僅かな領域のみに関心がある。従来の方法は、２つの表面の接合に関する情報のみを抽出するのではなく、表面又は物品の全体を特徴付けることを目的としている。したがって、従来のシステムでは、本用途で望まれるより遙かに多くの演算が実行される。]
[0011] 第２の問題を図４に示す。図４では、構造化光プロジェクタ６０は、複数のラインからなるパターンを物品６８に投影し、そのうちの１つのライン６２を示している。光のライン６２は、２つの表面６４、６６において物品６８に交わる。表面に交わる光は、カメラ／レンズシステム（図示せず）によって、センサ７６の画像平面上に結像される。ストライプ６２からの光は、上側の表面６６から反射して、光線７０を形成し、点７８において、画像センサ平面７６と交わる。この具体例では、下側の表面６４から反射した光は、表面における小さい欠陥７２の結果、予期された方向を逸れ、新たな方向７４に進み、この結果、光線７４が、点８０において、画像センサ平面７６と交わる。この結果、マシンビジョン技術を用いて、画像センサ平面上で点７８及び点８０との間の距離を測定すると、距離Ｃが測定される。距離Ｄが正確に推定されることを期待して、測定値Ｃに上述した式１を適用すると、エラーが生じる。本願では、表面における小さい欠陥を検出すること、及び表面の接合不良によって生じる、より系統的な差からこれらを弁別することの両方に注目する。上述の方法は、局部的な欠陥を無視するか、これらを演算に組み入れ、この結果、局部的な欠陥が、接合面の間の系統的な差分から弁別できなくなる。本用途では、これらの結果は、何れも、望ましくない。これらの理由のために、構造化光を用いて、局部的な欠陥によって生じる誤検出を抑制しながら、接合不良の表面を効率的に正確に検出する方法が必要とされている。] 図４
[0012] そこで、本発明の目的は、何れかの表面における小さい欠陥によって生じる異常を無視しながら、２つの表面の間の接合における変化を検出し、従来のシステムより少ない演算でこれらのタスクを実行する改善された能力を有する構造化光マシンビジョンシステムの形式で、方法及び装置を提供することである。上述及びこの他の本発明の目的に基づく課題を解決するために、ここに具体化して、包括的に説明するように、方法及び装置を開示する。]
課題を解決するための手段

[0013] 本発明の実施の形態では、２つの異なる方向から物品を視野に入れる２つのカメラを使用し、それぞれは、別々の構造化光プロジェクタによって照射された物品を視野に入れる。このシステムの概略図を図５に示す。この実施の形態では、第１の構造化光プロジェクタ９０は、第１の構造化光パターン９２を物品９４に投影し、これに対し、第１のカメラ９６は、構造化光パターン９２の画像を生成し、これをコンピュータ９５が取得及び処理する。次に、第２の構造化光プロジェクタ９７は、物品９４に第２の構造化光パターン９８を投影し、これに対して、第２のカメラ９９が画像を生成し、これをコンピュータ９５が取得及び処理する。この実施の形態では、表面は、視点の方向にかかわらず、他の表面に対して同じ相対的な高度を有するように見え、一方、局部的な欠陥は、異なる角度から見ると、高度が変化するように見えるという事実に基づいて、局部的な欠陥から表面間の高度の実際の差分を分離できる。これを図６及び図７に示す。図６では、２つの構造化光プロジェクタ１００、１０４が、互いに反対となる方向から物品１０８を照射している。画像センサ平面１２２、１２４において測定される表面１１０、１１２の間の高度の差は、実質的に同じである。図７では、局部的な欠陥１５８が存在する場合、画像センサは、１４８、１５４において、表面１４２に対する表面１４０の高度について、異なる値を測定することが示されている
局部的な傷（flaw）を検出するためのアルゴリズムは、２つの異なる方向から構造化光画像を取得することを伴う。２つの方向は、通常、１８０度離間しており、構造化光プロジェクタ及びカメラの両方は、物品に対して同じ角度にあるが、これは、必要条件ではない。カメラ及びプロジェクタを対称的にセットアップすることによって、演算が幾らか簡単になり、ここでは、この構成を用いて、一般性を損なうことなく、方法を説明する。各カメラ及び構造化光プロジェクタの対は、物品に投影される構造化光の反射の大部分を見ることができるように、整列する必要がある。具体的には、両方のカメラは、検査が望まれている物品の領域に投影された構造化光の部分を視野に入れる必要がある。] 図５ 図６ 図７
[0014] 本発明の一側面では、一旦取得されると、構造化光画像は、通常、処理されず、検査される物品に関する包括的な情報をもたらす。物品の位置及び検査すべき物品上の領域の位置に関する自明の情報（a priori information）を使用することによって、演算時間を短縮できる。検査される領域の位置に関する知識によって、方法は、物品を構成する２つ以上の部品間の１つ以上の継ぎ目に関する判定に必要なデータ点だけを計算すればよい。この方法は、視野内の物品の位置及び検査される継ぎ目の位置に関する情報が既知であることを前提とする。これは、カメラ及びプロジェクタに対して既知の位置に、検査される物品を取付台で保持することによって保証できる。更に、検査される物品上の位置に関する情報は、設計図又は物品に関する他の情報から事前にプログラミングしてもよく、物品上への構造化光パターンの検査画像から推定してもよい。上述した方法の代替例として、物品が固定されていない場合、又は検査の前に既知であった位置とは異なる位置に配置される場合、周知のマシンビジョン技術を用いて、物品の位置、したがって、検査される位置を特定してもよい。この位置特定ステップは、投影された構造化光を用いて実行してもよく、他の非構造化光源を用いて実行してもよい。]
図面の簡単な説明

[0015] 従来の構造化光システムの概略図である。
投影光と画像との間の関係を示す従来の構造化光システムの概略図である。
構造化光システムによって接合不良のエッジをどのように検出するかを説明する図である。
構造化光システムによって局部的な欠陥がどのように検出されるかを説明する図である。
構造化光システムの概略図である。
構造化光システムによって検出される接合不良のエッジの対称性を示す図である。
構造化光システムによって検出される局部的な欠陥の非対称性を示す図である。
構造化光システムを使用して欠陥を検出するために用いられるアルゴリズムのフローチャートである。]
実施例

[0016] 製品を販売する如何なる企業にとっても、製品の外観は、非常に重要である。製品の外観の１つの非常に重要な側面は、「合い具合及び仕上がり（fit and finish）」であり、これは、知覚される製品の総合的な品質を指している。高品質の合い具合及び仕上がりは、製品の知覚的な価値を高め、この結果、売上及び利益を伸ばし、したがって、当然、製造業者はこれを望んでいる。合い具合及び仕上がりの特に難しい側面は、部品を接合して、連続した表面を形成し、部品間の継ぎ目がユーザには殆ど見えないように設計することである。これは、通常の製造公差で達成することが困難であり、全ての製品が合い具合及び仕上がりについて、確立された基準を満たすことを確実にするために、製品は、検査されることが多い。]
[0017] 接合された表面についての合い具合及び仕上がりの検査では、表面の高さにおける微妙な差分を検出する必要がある。これらの差分は、容易に視認できず、例えば、継ぎ目を跨いで指を摺動させることによってのみ、感知できることもある。これは、通常の２Ｄマシンビジョン技術を使用しても、接合された表面における傷を有効に検出できないことを意味する。]
[0018] 様々な３Ｄビジョン技術が利用可能であるが、３Ｄビジョン技術には、このタイプの用途にとって望ましくない２つの問題がある。第１の問題は、速度である。３Ｄビジョン技術は、一般的に、表面又は物品の全体を特徴付けるために使用されている。本願では、物品の単一の側面の検査、すなわち、２つの部品が接合する継ぎ目に沿った２つの表面間の合い具合を定量化することのみに関心がある。典型的な３Ｄアプリケーションでは、本願において関心がある情報を得るために必要とされるよりも遙かに多くのデータ点について演算を行う。したがって、継ぎ目の付近のデータ点だけについて演算を行う本発明は、従来の３Ｄビジョン技術より高い性能を提供する。]
[0019] 他の問題は、検査される物品は、検査される継ぎ目の付近に小さい傷を示すことがあり、これが、部品の接合不良であると誤認識されることがある点である。通常、３Ｄ検査プログラムは、傷の値をより広い領域に平均化し、又はこれを完全に無視するステップを有する。本発明は、表面内の小さい瑕疵（imperfection）と、表面間の相対的な高度の実際の差分とを弁別することによってこれを改善する。]
[0020] 図５は、本発明の一実施の形態の概略図である。第１の構造化光プロジェクタ９０は、第１のインフォーカス構造化光パターン（in-focus structured light pattern）９２を物品９４に投影する。この第１の構造化光パターンは、第１のカメラ９６によって、撮像され、コンピュータ９５によって、後の処理のために取得される。第２の構造化光プロジェクタ９７は、第２のインフォーカス構造化光パターン９８を物品９４上の同じ領域に投影し、これは、カメラ９９によって、撮像され、コンピュータ９５によって取得され、処理される。この実施の形態では、プロジェクタ及びカメラの光軸は、検査される表面によって形成される平面に略々垂直な平面内に構成される。この構成は、本発明において必ずしも必要ではないが、この構成によって、計算が幾らか簡単になり、したがって、実行がより速くなる。実際には、プロジェクタは、光が物体の一部によって遮蔽されずに表面に到達できる限り、殆ど如何なる角度にあってもよい。システムの分解能は、検査される表面に対する構造化光プロジェクタの角度に依存し、プロジェクタ角度が、プロジェクタが表面を垂直に見下ろす大きな角度から、プロジェクタ角度が表面に対して殆ど平行なかすめ角（grazing angle）に至るまでの間、分解能と精度との間には、トレードオフの関係がある。この実施の形態では、プロジェクタ角度は、表面に対して３０度〜６０度であり、最も好ましくは、表面に対して４５度である。そして、カメラは、プロジェクタの反対側に、プロジェクタの角度と同様な角度で配置される。なお、カメラは、構造化光を明確に視野に入れる如何なる角度に配置してもよいが、分解能対精度について、同じトレードオフが存在する。] 図５
[0021] この実施の形態では、第２のプロジェクタ及びカメラは、第１のプロジェクタ及びカメラと同じ垂直平面上に及び１８０度反対に、第１のプロジェクタ及びカメラと対称的に配置される。この構成は、計算がより簡単になり、便利であるが、第２のプロジェクタ及びカメラは、表面上の関心領域が両方のプロジェクタによって照射され、両方のカメラの視野に入る限り、如何なる角度に配置してもよい。]
[0022] この実施の形態では、構造化光プロジェクタ及びカメラは、互いの妨げとならないように、交互に、それぞれのパターンを投影し、画像を取得する。パターンを個別に維持するための他のスキームも可能である。他の実施の形態では、異なる光の波長でパターンを投影し、カメラに配設された光フィルタを用いて、パターンを弁別してもよい。同様に、直交する偏光を用いてパターンを投影し、カメラ上の解析器によってパターンを分離してもよい。これらの実施の形態の共通点は、逐次的ではなく、同時にパターンを取得できる点である。更に、物品に構造化光パターンを投影するために用いられる光学素子及び／又は構造化光パターンを撮像するためにカメラによって用いられる光学素子は、パーツの表面仕上げ等の詳細を抑圧し、構造化光パターンの詳細を強調するように設計することができる。例えば、プロジェクタは、赤外光を用いてパターンを投影することができ、カメラは、画像から赤外光以外を排除するフィルタを有することができる。]
[0023] 本発明の一実施の形態において、データを処理するために使用されるアルゴリズムを図８に示す。画像データがコンピュータによって取得された後、処理は、処理すべき画像内の１つ以上の領域を特定することによって開始される。これにより、アルゴリズムは、所望の結果に貢献する領域だけを処理することができ、この結果、システムスループットが向上する。一旦、領域が選択されると、画像データは、通常、雑音を低減するためにフィルタリングされる。フィルタリングの後、画像内の構造化光特徴が高い精度で検出される。例えば、構造化光特徴がラインである場合、よく知られているマシンビジョンアルゴリズムを用いて、副画素（サブピクセル）の精度でラインの中心を検出することができる。高い精度の特徴の検出に続いて、特徴下の表面の高度を推定できる。これを行う一手法については、図３に示し、式１を用いて先に説明した通りである。高度測定のための原点として表面４４が選択されたと仮定すると、ストライプ４２の位置の測定値は、画像内で量Ａだけオフセットされる。式１による計算の後に、ストライプ４２の高度、したがって、物品５２の表面４６は、任意に選択された原点４４から、−Ｂとして算出される。] 図３ 図８
[0024] このデータからの合い具合及び仕上がりの判定は、後続する２つの解析ステップに依存する。まず、画像データを併合する。多くの場合、２つのデータ集合は、同じになる。これらの場合では、出力データは、何れかの入力画素になる。入力された高度測定値が等しくない場合、出力画素にはフラグが立てられ、差分の大きさが示される。画素が同じである場合、継ぎ目の既知の位置の何れかの側の領域を検査し、これらが検査を通過するのに十分な程度にまで互いに密接しているかを判定する。これらが異なる場合、表面位置に差分が存在することを意味し、この差分が示され、この差分は、物品を検査に合格させるか否かに関する判断のために、プログラムの他の部分に渡される。値が異なる場合、位置は、表面が異なる高度にあることを意味せず、システムが有効な測定を行うことを妨げる瑕疵が表面にあることを意味する。そして、プログラムは、確実に不合格となる程瑕疵が十分大きいかを判定し、又は可能であれば、人間によって検査し、許容できるかを判断するかを判定しなくてはならない。]
[0025] 多くの異なるパターンの構造化光を用いて、物品を照射し、所望の情報を抽出することができる。一実施の形態では、検査される継ぎ目に垂直なストライプを表面に投影して、継ぎ目の何れかの側の高度の変化を検出する。他のパターンを用いてもよく、例えば、ドットのパターンを表面に投影してもよい。パターンを明確に撮像でき、パターンの要素の位置を副画素の精度で特定でき、及び画像内で要素を正しく識別できる限り、殆ど全てのパターンを用いることができる。]
[0026] 本発明の他の実施の形態は、相対して構成された一対の構造化光プロジェクタ及びカメラの対を使用する。この実施の形態では、プロジェクタ／カメラの対が物品の第１の画像を取得した後、プロジェクタ／カメラの対に関して物品を回転させ、他の画像を取得する。処理のために物品の反対のビューを取得するために、物品、プロジェクタ／カメラの対又はこれらの両方を回転させてもよい。一旦、画像が取得された後は、処理は、上述と同様に進められる。]
[0027] 更なる実施の形態では、より多くの角度から、より多くの画像を撮像し、表面の高度を余計に判定して、測定の精度を高める。また、表面に亘って構造化光パターンにインデクスを付し、複数の画像を取得して、表面測定のサンプル密度を高めてもよい。]
[0028] 本発明の基底にある原理から逸脱することなく、本発明の上述の実施の形態の詳細に多くの変更を加えてもよいことは当業者にとって明らかである。したがって、本発明の範囲は、以下の特許請求の範囲のみによって確定される。]

权利要求:

請求項1
光のパターンを物品に投影し、前記投影されたパターンの画像を画像センサによって取得し、前記画像をコンピュータに送信し、前記コンピュータによって前記画像を処理して物品内の欠陥を分類する改善された方法において、第１の方向から前記物品に第１のパターンを投影するステップと、第１の画像センサによって、前記第１のパターンの第１の画像を取得するステップと、前記第１の画像センサから前記コンピュータに前記第１の画像を送信するステップと、第２の方向から前記物品に第２のパターンを投影するステップと、第２の画像センサによって前記第２のパターンの第２の画像を取得するステップと、前記第２の画像センサから前記コンピュータに前記第２の画像を送信するステップと、前記コンピュータによって前記第１及び第２の画像を処理し、前記第１及び第２の間の差分を検出し、これによって、物品内の欠陥を分類するステップとを有する方法。
請求項2
前記第１の方向及び前記第２の方向は、反対のビューである請求項１記載の方法。
請求項3
前記第１及び第２のパターンは、同じである請求項１記載の方法。
請求項4
前記第１及び第２の画像センサは、単一の画像センサである請求項１記載の方法。
請求項5
光のパターンを物品に投影し、前記投影されたパターンの画像を画像センサによって取得し、前記画像をコンピュータに送信し、前記コンピュータによって前記画像を処理して物品内の欠陥を分類する改善された方法において、ある方向から前記物品にパターンを投影するステップと、前記画像センサによって、前記パターンの第１の画像を取得するステップと、前記画像センサから前記コンピュータに前記第１の画像を送信するステップと、前記物品を回転させるステップと、ある方向から前記回転された物品にパターンを投影するステップと、前記画像センサによって前記第２のパターンの第２の画像を取得するステップと、前記画像センサから前記コンピュータに前記第２の画像を送信するステップと、前記コンピュータによって前記第１及び第２の画像を処理し、前記第１及び第２の間の差分を検出し、これによって、物品内の欠陥を分類するステップとを有する方法。
請求項6
前記物品は、１８０度回転される請求項５記載の方法。
請求項7
投影光パターン、画像センサ及びコンピュータによって物品内の欠陥を分類するための改善されたシステムにおいて、異なる方向から前記物品上の実質的に同じ位置にパターンを投影するように構成された第１及び第２のパターン化光プロジェクタと、前記第１及び第２のパターン化光の第１及び第２の画像を取得するように構成された第１及び第２の画像センサと、前記第１及び第２の画像センサと通信し、画像を取得し、前記画像を処理して、前記画像間の差分を検出して、これによって、欠陥を分類するコンピュータとを備えるシステム。
請求項8
前記第１の方向及び前記第２の方向は、反対のビューである請求項７記載の方法。